Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination
同样的注意力，不同的真相：用Logit-Lens检测和缓解LVLM物体幻觉
🧭 多模态幻觉检测与缓解
University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Science · Hong Kong University of Science and Technology
发现物体幻觉并非视觉注意力不足，而是注意力区域无法解码为目标token，提出训练免的检测-缓解框架，取得SOTA。
📌 工作参考价值（4 点）
- 在电商图片描述生成或视觉问答中，可借鉴 Logit Lens 检验高注意力区域是否真正解码为目标商品token，快速定位幻觉来源，无需额外训练。
- 根据幻觉成因分类处理：对于视觉不确定性（相似物体混淆），通过屏蔽高注意力区域（HARM）强制模型重新聚焦；对于上下文先验（强共现偏见），采用视觉证据增强解码（VEED），提高生成可靠性。
- 训练免的 Detect-Mitigate 框架可以直接嵌入现有 LVLM 推理流程，低成本提升生成质量，对 Agent 中视觉模块的可信输出有实用价值。
- 注意力图可视化结合 token 解码一致性检查，可以作为一种离线诊断工具，用于发现商品描述生成中的常见幻觉模式，进而优化数据或 prompt。